Robots Exclusion Standard
インターネットアーカイブ
ウェブアーカイブ
クローラ
Robots Exclusion Standard - Wikipedia